Task: Správa automatizovaných testů

Činnost správy je prováděna v průběhu celého testování, neboť je nástroj Selenium WebDriver používán i pro účely uchovávání testovacích případů a odkazování na ně. Získané výsledky automatizovaných testů je nutné promítnout je do Vyhodnocení automatizovaných testů. Případné chyby jsou hlášeny do dokumentu Report Chyb. Správce automatizace je povinen nastavit ladění pro výstupní Testovací log. Vyhodnocení provádí hlavně Správce automatizace, který získané poznatky posoudí a doplní jejich závěry pro Test manažera.

Inspirován jsem se byl u metodik ATLM - Selenium a Rozšíření MMSP o automatizované testování. ATLM - Selenium definuje úlohu Kontrola a vyhodnocování procesu testování. [Třísková, 2015]

Rozšíření MMSP o automatizované testování nabízí totožné úlohy Vyhodnocování automatizovaných testů a Údržba nástroje pro správu testů. [Rojo, 2015]

Výběr Testovacích sad

První, co je nutné v rámci této úlohy provést, je výběr Testovacích sad, podle kterých by mělo být testováno. Základním podkladem pro toto rozhodnutí je již dříve vytvořený Plán automatizace a Plán iterace, ze kterého je možné vyčíst, co je v testovaném Buildu nové a potřebuje nejvíce ověřit. Vycházet je vhodné i ze záznamů vytvořených v předchozím testování. Pokud to není z časového hlediska problematické, doporučuje se vždy provést kompletně všechny testovací sady.

Realizace automatizovaných testů

Dále navazuje realizace automatizovaných testů v nástroji Selenium WebDriver, kde je možné rozdělit do tří základních skupin, a to na testování podle scénářů, free testy a retesty. Při testování podle scénářů vychází tester z vytvořených testovacích sad, které krok po kroku provádějí, a vyplňují, zda je jejich průběh v pořádku nebo byla identifikována nějaká chyba. Kromě těchto testů je vhodné, aby tester, vykonal i tzv. free testy, jejichž kroky nejsou předem popsány, ale jsou prováděny podle uvážení testera, který se snaží odhalit místa, kde by mohla být chyba. V posledním typu testování, při provádění retestů chyb, je na nových verzích vyvíjeného informačního systému ověřováno, zda byly odladěny chyby nalezené na předchozích verzích.

Implementace testovacího prosředí

K implementaci automatizovaných testů sevybuduje vybrané testovací prostředí, ve kterém jsou prováděny všechny testovací skripty. Správce automatizace předá od Testera pro automatizované testování sadu Automatizovaných testů a přidělí jej na frontu pro testování vybraným prostředím TestNG nebo Jenkins.

Iterace automatizovaných testů

Po upravených automatizovaných testech pro testovací prostředí TestNG nebo Jenkins má Správce automatizace za úkol zajistit jejich neustálý provoz pro každou noc. Výsledky testů z vybraného testovacího prostředí promítne do dokumentu Vyhodnocení automatizovaných testů. Případné nalezené chyby se promítnou do dokumentu Report chyb. Iterace automatizovaných testů vybraného prostředí probíhá vlastně neustále, neboť jej provádí stroj, nikoliv člověk a jsou méně nákladnější.

Zhodnocení výsledků testů

V závěru jednotkového automatizovaného testování přichází na řadu zhodnocení výsledků testů. Veškeré záznamy, které byly v průběhu testování vytvořeny, by měly být zpřístupněny všem členům týmu a souhrnné výsledky testování by měly být konzultovány na pravidelných setkáních týmu. Vyhodnocené testy jsou zapisovány do dokumentu Vyhodnocení automatizovaných testů, přičemž chyby jsou vkládány do Reportu chyb. Správce automatizace nesmí zapomenout na zapisování do Testovacího logu.

Každá chyba by měla být komunikována s příslušným vývojářem a požadavky na její nápravu by měly být zaznamenány v Seznamu pracovních položek nebo Seznamu požadavků na změnu. V průběhu testování také může být zjištěno, že se aplikace sice nechová dle testovací sady, ale její funkcionalita je správná. Změny, které je v tomto případě nutné provést, se netýkají vyvíjené aplikace, ale vlastních testovacích podkladů. Pokud je problém v testovací sadě či případu triviální, může být opraven přímo při testování.